本文重新讨论了一个非常简单但非常有效的计算范式，深度共同学习（DML）。我们观察到，有效性与其出色的概括质量高度相关。在本文中，我们从新的角度来解释了DML的性能改善，即这大约是贝叶斯后的采样程序。这也为应用R \'{e} nyi Divergence改善原始DML的基础建立了基础，因为它带来了先验的差异控制（在DML的上下文中）。因此，我们提出了r \'{e} nyi Divergence深度共同学习（RDML）。我们的经验结果代表了DML和\ renyi {}差异的婚姻的优势。R \'{E} nyi Divergence施加的灵活控制能够进一步改进DML，以学习更好的广义模型。

我们介绍了一项对自然语言（NL）推理的人类通知，开放域和逻辑上复杂且多样的数据集，配备了一阶逻辑（fol）注释。对开本由1,435个示例（独特的结论）组成，每个示例与487组前提之一搭配，这些场所作为规则，可用于演绎理由，以理解每个结论的有效性。前提和结论的逻辑正确性是通过其平行注释来确保的，这些注释会自动由我们的FOL推理引擎验证。除了主要的NL推理任务外，对开本中的NL-FOL对自动构成了使用FOL作为逻辑形式的新的NL-FOL翻译数据集。我们对广泛的实验系统地评估了对中型语言模型（BERT，ROBERTA）进行微调的FOL推理能力，并且在大型语言模型（GPT-NEOX，OPT，OPT，GPT-3，Codex）上促成了很少的射击。对于NL-FOL翻译，我们尝试使用GPT-3和Codex。我们的结果表明，公开可用的最强大的大语言模型之一（LLM），GPT-3 Davinci，仅比随机结果略好，而在一部分集的一部分中，该模型尤其不好，并且在预测该模型方面尤其不好。纠正虚假和未知结论的真实价值。我们的数据集和代码可在https://github.com/yale-lily/folio上找到。

通过开发基于生成的自我监督学习（SSL）方法，例如Beit和Mae，如何通过掩盖输入图像的随机补丁并重建缺失信息来学习良好的表示形式。但是，Beit和Peco需要一个“预先陈述”阶段，以生成用于掩盖补丁代表的离散代码手册。 MAE不需要预训练的代码簿流程，但是将像素设置为重建目标可能会引入前训练和下游任务之间的优化差距，即良好的重建质量可能并不总是会导致模型的高描述能力。考虑到上述问题，在本文中，我们提出了一个简单的自鉴定的蒙面自动编码器网络，即SDAE。 SDAE由一个使用编码器解码器结构的学生分支组成，以重建缺失的信息，并制作一个师范分支，生产蒙版代币的潜在表示。我们还分析了如何从信息瓶颈的角度来为教师分支机构建立潜在代表性的好看法。之后，我们提出了一种多重掩蔽策略，以提供多个掩盖视图，并具有平衡的信息以提高性能，这也可以降低计算复杂性。我们的方法很好地概括了：只有300个时期预训练，香草vit-base模型在Imagenet-1K分类上达到了84.1％的微调精度，48.6 MIOU在ADE20K细分方面和48.9 coco检测中的MAP，它超过了其他方法，从而超过其他方法。通过相当大的边距。代码可从https://github.com/abrahamyabo/sdae获得。

通常通过过去的选择来告知机器学习中的评估，例如要使用哪些数据集或指标。该标准化可以使用排行榜对平等基础进行比较，但是随着出现更好的替代方案，评估选择变得不佳。这个问题在自然语言生成中尤其相关，该语言需要不断改善的数据集，指标和人类评估以提出确定性的主张。为了使遵循最佳模型评估实践更加容易，我们介绍了GEMV2。新版本的一代，评估和指标基准为数据集，模型和指标开发人员提供了模块化基础架构，以使彼此受益。GEMV2支持40种记录的数据集中51种语言。所有数据集的模型都可以在线评估，我们的交互式数据卡创建和渲染工具使得在Living Benchmark中添加新数据集变得更加容易。

深度神经网络能够学习强大的表示以应对复杂的视觉任务，但揭示了不合适的问题等不良属性。为此，深层神经网络等正规化技术诸如图像增强是必要的。然而，大多数普遍的图像增强食谱都局限于现成的线性转换，例如刻度，翻转和颜色jitter。由于其手工制作的财产，这些增强不足以产生真正的硬增强示例。在本文中，我们提出了一种新颖的增强视角，以使培训过程正常。受到将蒙版图像建模应用于自我监督学习的最新成功的启发，我们采用了自我监督的蒙版自动编码器来生成输入图像的扭曲视图。我们表明，利用这种基于模型的非线性转换作为数据增强可以改善高级识别任务。我们将提出的方法称为\ textbf {m} ask- \ textbf {r} econstruct \ textbf {a} u gengementation（mra）。各种图像分类基准的广泛实验验证了提出的增强的有效性。具体而言，MRA始终提高受监督，半监督和少量分类的性能。该代码将在\ url {https://github.com/haohang96/mra}上提供。

生成三维城市模型迅速对许多应用是至关重要的。单眼高度估计是最有效的，及时的方式来获得大型几何信息之一。但是，现有的工作主要集中在训练和测试模型中使用的数据集不偏不倚，不与现实世界的应用以及对齐。因此，我们提出了一个新的基准数据集，研究高度估计模型的可转移性在跨数据集的设置。为此，我们首先设计和构建跨数据集上的高度估计任务迁移学习了大规模的基准数据集。这个基准测试数据集包括一个新提出的大规模合成数据集，新集真实世界的数据集，并从不同的城市四个现有的数据集。接下来，两个新的实验方案，零次和几个次跨数据集传输，设计。对于一些次跨数据集的转移，我们增强了基于窗口的变压器与拟议规模变形卷积模块来处理严重的尺度变化问题。为了改善零射门跨数据集设置深模型的普遍性，基于最大规范化变压器网被设计成分离从绝对高度的相对高度的地图。实验结果表明在传统的和跨数据集传送设置两者所提出的方法的有效性。该数据集和代码是公开的，在https://thebenchmarkh.github.io/。

最近快速的任意形状的文本检测已成为一个有吸引力的研究主题。但是，大多数现有方法都是非实时的，这可能在智能系统中缺少。尽管提出了一些实时文本方法，但检测精度远远落后于非实时方法。为了同时提高检测精度和速度，我们提出了一种新颖的快速准确的文本检测框架，即CM-NET，基于新的文本表示方法和多透视特征（MPF）模块构造。前者可以以高效且坚固的方式通过同心掩模（cm）拟合任意形状的文本轮廓。后者鼓励网络从多个角度来了解更多厘米相关的鉴别特征，并没有提供额外的计算成本。受益于CM和MPF的优点，所提出的CM-Net只需要预测一个CM的文本实例来重建文本轮廓，并与先前的作品相比，在检测精度和速度之间实现最佳平衡。此外，为了确保有效地学习多视角特征，提出了多因素约束损耗。广泛的实验证明了所提出的CM是有效且稳健的拟合任意形状的文本实例，并且还验证了MPF的有效性和对鉴别文本特征识别的影响损失。此外，实验结果表明，所提出的CM-Net优于现有的现有最先进的（SOTA）实时文本检测方法，其均以MSRA-TD500，CTW1500，总文和ICDAR2015的检测速度和准确性。数据集。

Federated learning (FL) is a machine learning setting where many clients (e.g. mobile devices or whole organizations) collaboratively train a model under the orchestration of a central server (e.g. service provider), while keeping the training data decentralized. FL embodies the principles of focused data collection and minimization, and can mitigate many of the systemic privacy risks and costs resulting from traditional, centralized machine learning and data science approaches. Motivated by the explosive growth in FL research, this paper discusses recent advances and presents an extensive collection of open problems and challenges.

Transfer learning aims at improving the performance of target learners on target domains by transferring the knowledge contained in different but related source domains. In this way, the dependence on a large number of target domain data can be reduced for constructing target learners. Due to the wide application prospects, transfer learning has become a popular and promising area in machine learning. Although there are already some valuable and impressive surveys on transfer learning, these surveys introduce approaches in a relatively isolated way and lack the recent advances in transfer learning. Due to the rapid expansion of the transfer learning area, it is both necessary and challenging to comprehensively review the relevant studies. This survey attempts to connect and systematize the existing transfer learning researches, as well as to summarize and interpret the mechanisms and the strategies of transfer learning in a comprehensive way, which may help readers have a better understanding of the current research status and ideas. Unlike previous surveys, this survey paper reviews more than forty representative transfer learning approaches, especially homogeneous transfer learning approaches, from the perspectives of data and model. The applications of transfer learning are also briefly introduced. In order to show the performance of different transfer learning models, over twenty representative transfer learning models are used for experiments. The models are performed on three different datasets, i.e., Amazon Reviews, Reuters-21578, and Office-31. And the experimental results demonstrate the importance of selecting appropriate transfer learning models for different applications in practice.

Convolutional neural networks (CNNs) are inherently limited to model geometric transformations due to the fixed geometric structures in their building modules. In this work, we introduce two new modules to enhance the transformation modeling capability of CNNs, namely, deformable convolution and deformable RoI pooling. Both are based on the idea of augmenting the spatial sampling locations in the modules with additional offsets and learning the offsets from the target tasks, without additional supervision. The new modules can readily replace their plain counterparts in existing CNNs and can be easily trained end-to-end by standard back-propagation, giving rise to deformable convolutional networks. Extensive experiments validate the performance of our approach. For the first time, we show that learning dense spatial transformation in deep CNNs is effective for sophisticated vision tasks such as object detection and semantic segmentation. The code is released at https://github.com/ msracver/Deformable-ConvNets.